Adding perturbations via utilizing auxiliary gradient information or discarding existing details of the benign images are two common approaches for generating adversarial examples. Though visual imperceptibility is the desired property of adversarial examples, conventional adversarial attacks still generate traceable adversarial perturbations. In this paper, we introduce a novel Adversarial Attack via Invertible Neural Networks (AdvINN) method to produce robust and imperceptible adversarial examples. Specifically, AdvINN fully takes advantage of the information preservation property of Invertible Neural Networks and thereby generates adversarial examples by simultaneously adding class-specific semantic information of the target class and dropping discriminant information of the original class. Extensive experiments on CIFAR-10, CIFAR-100, and ImageNet-1K demonstrate that the proposed AdvINN method can produce less imperceptible adversarial images than the state-of-the-art methods and AdvINN yields more robust adversarial examples with high confidence compared to other adversarial attacks.
translated by 谷歌翻译
量化是一种降低DNN模型的计算和记忆成本的技术，DNN模型越来越大。现有的量化解决方案使用固定点整数或浮点类类型，这些量子的好处有限，因为两者都需要更多位以保持原始型号的准确性。另一方面，可变长度量化使用低位量化对正常值和高精度的分数对异常值的一部分。即使这项工作带来了算法的好处，但由于长度的编码和解码，它也引入了重要的硬件开销。在这项工作中，我们提出了一种称为ANT的固定长度自适应数值数据类型，以通过微小的硬件开销实现低位量化。我们的数据类型ANT利用了两项关键创新来利用DNN模型中的张贴内和调整的自适应机会。首先，我们提出了一种特定的数据类型Flint，该数据类型结合了Float和INT的优势，以适应张量中不同值的重要性。其次，我们提出了一个自适应框架，该框架根据其分布特性选择每个张量的最佳类型。我们为蚂蚁设计了统一的处理元件体系结构，并显示其与现有DNN加速器的易于集成。我们的设计导致2.8 $ \ times $速度和2.5 $ \ times $ $ $ $ $ \ times $ $ \ times $ $ \ times $ $ \ times $ $ \ times $ $ \ times $ $ \ times $ $ \ times $比最先进的量化加速器提高了能源效率。
translated by 谷歌翻译
自然语言理解（NLU）是机器对人类语言进行语义解码的任务。 NLU模型在很大程度上依赖大型培训数据来确保良好的性能。但是，大量的语言和域具有很少的数据资源和域专家。当很少甚至零培训样本可用时，有必要克服数据稀缺挑战。在本论文中，我们专注于开发跨语性和跨域方法来解决低资源问题。首先，我们建议通过关注与任务相关的关键字，增强模型的鲁棒性并正式化表示形式来提高模型的跨语性能力。我们发现，通过专注于关键字，可以轻松地改善低资源语言的表示形式。其次，我们提出了跨语义适应的订单降低建模方法，并发现建模部分单词顺序而不是整个顺序可以提高模型的鲁棒性，以针对语言订单差异和任务知识之间的单词顺序差异，而任务知识转移到低资源的语言中。第三，我们建议利用不同级别的域相关语料库和跨域适应预训练中数据的额外掩盖，并发现更具挑战性的预训练可以更好地解决任务知识转移中的域差异问题。最后，我们介绍了一个粗到精细的框架，教练和跨语言和跨域解析框架X2Parser。 Coach将表示过程分解为粗粒和细粒度学习，X2Parser将层次任务结构简化为扁平化的任务结构。我们观察到简化的任务结构使表示形式对低资源语言和域更有效。
translated by 谷歌翻译
数据隐私和类不平衡是许多机器学习任务中的常态，而不是例外。一方面已经启动了最近的尝试，解决了从普遍的私人数据中学习的问题，另一方面是从长尾数据中学习的。但是，这两个假设在实际应用中都可能存在，而同时减轻这两个问题的有效方法仍在开发中。在本文中，我们专注于在流行的隐私保存联合学习（FL）框架的背景下使用长尾（LT）数据分布进行学习。我们在FL框架中使用不同的本地或全局长尾数据分布来表征三个方案，并突出相应的挑战。在不同方案下的初步结果表明，未来的实质性工作是更好地解决特定的联合长尾学习任务的高度必要性。
translated by 谷歌翻译
学习的推荐系统可能会无意间泄露有关其培训数据的信息，从而导致侵犯隐私行为。我们调查了推荐系统通过成员推理面临的隐私威胁。在这种攻击中，对手旨在推断用户的数据是否用于训练目标推荐人。为了实现这一目标，以前的工作使用了阴影推荐人来为攻击模型得出训练数据，然后通过计算用户历史互动和推荐项目之间的差异向量来预测成员资格。最先进的方法面临两个具有挑战性的问题：（1）由于阴影和目标推荐人之间的差距，攻击模型的培训数据偏见，并且（2）推荐人中的隐藏状态没有观察到，导致估计不准确差矢量。为了解决上述局限性，我们提出了针对推荐系统（DL-MIA）框架的成员推理攻击的偏见学习，该框架具有四个主要组件：（1）差异向量生成器，（2）分发式编码器，（3）重量估算器和（4）攻击模型。为了减轻推荐人之间的差距，设计了基于变异的自动编码器（VAE）的分解编码器，以识别推荐人不变和特定功能。为了减少估计偏差，我们设计了一个权重估计器，为每个差异向量分配了真实级别的得分，以指示估计精度。我们对三个现实世界数据集的一般推荐人和顺序推荐人评估了DL-MIA。实验结果表明，DL-MIA有效地减轻了同时减轻培训和估计的偏见，并实现了最先进的攻击性能。
translated by 谷歌翻译
Twitter机器人检测已成为打击错误信息，促进社交媒体节制并保持在线话语的完整性的越来越重要的任务。最先进的机器人检测方法通常利用Twitter网络的图形结构，在面对传统方法无法检测到的新型Twitter机器人时，它们表现出令人鼓舞的性能。但是，现有的Twitter机器人检测数据集很少是基于图形的，即使这些基于图形的数据集也遭受有限的数据集量表，不完整的图形结构以及低注释质量。实际上，缺乏解决这些问题的大规模基于图的Twitter机器人检测基准，严重阻碍了基于图形的机器人检测方法的开发和评估。在本文中，我们提出了Twibot-22，这是一个综合基于图的Twitter机器人检测基准，它显示了迄今为止最大的数据集，在Twitter网络上提供了多元化的实体和关系，并且与现有数据集相比具有更好的注释质量。此外，我们重新实施35代表性的Twitter机器人检测基线，并在包括Twibot-22在内的9个数据集上进行评估，以促进对模型性能和对研究进度的整体了解的公平比较。为了促进进一步的研究，我们将所有实施的代码和数据集巩固到Twibot-22评估框架中，研究人员可以在其中始终如一地评估新的模型和数据集。 Twibot-22 Twitter机器人检测基准和评估框架可在https://twibot22.github.io/上公开获得。
translated by 谷歌翻译
监督学习已被广泛用于攻击分类，需要高质量的数据和标签。但是，数据通常是不平衡的，很难获得足够的注释。此外，有监督的模型应遵守现实世界的部署问题，例如防御看不见的人造攻击。为了应对挑战，我们提出了一个半监督的细粒攻击分类框架，该框架由编码器和两个分支机构结构组成，并且该框架可以推广到不同的监督模型。具有残留连接的多层感知器用作提取特征并降低复杂性的编码器。提出了复发原型模块（RPM）以半监督的方式有效地训练编码器。为了减轻数据不平衡问题，我们将重量任务一致性（WTC）引入RPM的迭代过程中，通过将较大的权重分配给损失函数中较少样本的类别。此外，为了应对现实世界部署中的新攻击，我们提出了一种主动调整重新采样（AAR）方法，该方法可以更好地发现看不见的样本数据的分布并调整编码器的参数。实验结果表明，我们的模型优于最先进的半监督攻击检测方法，分类精度提高了3％，训练时间降低了90％。
translated by 谷歌翻译
网络的稀疏性主要是由于其降低网络复杂性的能力而受欢迎。广泛的研究挖掘了梯度驱动的稀疏性。通常，这些方法是在体重独立性前提下构建的，但是与重量受到相互影响的事实相反。因此，他们的性能仍有待改进。在本文中，我们建议通过解决这种独立悖论来进一步优化梯度驱动的稀疏性（OPTG）。我们的动机来自最近对超级策略训练的进步，该进步表明，稀疏子网可以通过简单地更新掩码值而无需修改任何权重的情况下将其位于随机初始化的网络中。我们证明，超级手机训练是积累重量梯度，并可以部分解决独立悖论。因此，OPTG将Supermask训练集成到梯度驱动的稀疏度中，并且设计了专门的掩模优化器来解决独立悖论。实验表明，OPTG可以很好地超越许多现有的最先进的竞争对手。我们的代码可在\ url {https://github.com/zyxxmu/optg}上找到。
translated by 谷歌翻译
当大型训练数据集不可用于低资源域时，命名实体识别（NER）模型通常表现不佳。最近，预先训练大规模语言模型已成为应对数据稀缺问题的有希望的方向。然而，语言建模和ner任务之间的潜在差异可能会限制模型的性能，并且由于收集的网数据集通常很小或大而是低质量，因此已经研究了NER任务的预训练。在本文中，我们构建了一个具有相对高质量的大规模核心语料库，我们基于创建的数据集预先列车。实验结果表明，我们的预训练模型可以显着优于八大域的低资源场景中的百合形和其他强基线。此外，实体表示的可视化进一步指示Ner-BERT用于对各种实体进行分类的有效性。
translated by 谷歌翻译
事实证明，数据混合对提高深神经网络的概括能力是有效的。虽然早期方法通过手工制作的策略（例如线性插值）混合样品，但最新方法利用显着性信息通过复杂的离线优化来匹配混合样品和标签。但是，在精确的混合政策和优化复杂性之间进行了权衡。为了应对这一挑战，我们提出了一个新颖的自动混合（Automix）框架，其中混合策略被参数化并直接实现最终分类目标。具体而言，Automix将混合分类重新定义为两个子任务（即混合样品生成和混合分类）与相应的子网络，并在双层优化框架中求解它们。对于这一代，可学习的轻质混合发电机Mix Block旨在通过在相应混合标签的直接监督下对贴片的关系进行建模，以生成混合样品。为了防止双层优化的降解和不稳定性，我们进一步引入了动量管道以端到端的方式训练汽车。与在各种分类场景和下游任务中的最新图像相比，九个图像基准的广泛实验证明了汽车的优势。
translated by 谷歌翻译